Ban đầu Linh Thạch được làm Điện trung tướng quân, luôn đi theo anh em Hoàn Tu (con Hoàn Xung), sau đó được làm Phủ quân Tham quân dưới quyền Tu ở Kinh Khẩu [lower-alpha 2].[1] Lưu Dụ chiếm được Kinh Khẩu, lấy Linh Thạch làm Kiến vũ Tham quân [lower-alpha 3]. Linh Thạch theo Lưu Dụ đến Giang Thừa, sắp giao chiến với quân họ Hoàn; ông nói với Dụ rằng: “Nhà tôi mấy đời chịu ơn họ Hoàn, không nỡ chĩa mũi giáo vào nhau, xin lui lại phía sau.” Dụ cho rằng Linh Thạch có nghĩa nên đồng ý. Sau khi Lưu Dụ đánh bại Hoàn Huyền, lấy Linh Thạch làm Trấn quân Tham quân [lower-alpha 4], thăng làm Vũ Khang huyện lệnh,[1][2] gia chức Ninh viễn tướng quân.[1]

Sau buổi tang loạn, người Vũ Khang là Diêu Hệ Tổ tập hợp những kẻ trốn tránh, chuyên đi cướp bóc, chiếm cứ nơi hiểm trở, quận huyện kiêng sợ không thể đánh dẹp. Linh Thạch đến huyện, vờ kết thân với Hệ Tổ, triệu làm Tham quân. Hệ Tổ cậy anh em đồng đảng đông mạnh, cho rằng Linh Thạch không dám tính kế với mình, bèn nhận lời. Linh Thạch ngầm liên kết người đáng tin cậy, biết được đường lối đi vào ở của Hệ Tổ, đợi hắn ta đến gặp mặt, quát bộ hạ chém ngay. Linh Thạch bèn soái quan binh đến nhà Hệ Tổ, nhân lúc bọn chúng không phòng bị, một lượt bắt được trọn ổ, rồi chém anh em của hắn ta, giết vài mươi người, tự đấy cả quận được yên.[1][2]

Lưu Dụ lại triệu Linh Thạch làm Tham quân, bổ làm Từ Châu chủ bộ [lower-alpha 5], rồi thăng làm Thượng thư đô quan lang, sau đó gọi lại làm Tham quân. Linh Thạch tòng chinh Nam Yên, có tội chịu miễn quan. Sau khi quân Tấn chiếm được Yên đô Quảng Cố, Linh Thạch được trở lại làm Tham quân. Nghĩa quân Lư Tuần đến Thạch Đầu, Linh Thạch được lĩnh Trung quân [lower-alpha 6]. Lư Tuần chọn mấy ngàn lính cảm tử trèo lên bờ nam, Lưu Dụ sai Linh Thạch lĩnh bộ binh người Tiên Ti cầm sóc, vượt sông Hoài đón đánh. Linh Thạch khích lệ tướng sĩ, đều dám tử chiến, giết được vài trăm tên địch, khiến nghĩa quân lui lại. Linh Thạch đã giỏi võ nghệ, lại quen làm quan văn, được Lưu Dụ rất thân tình tin cậy. Sau khi dẹp xong Lư Tuần, Linh Thạch được làm Ninh viễn tướng quân, Ninh Man hộ quân, Tây Dương thái thú. Năm Nghĩa Hi thứ 8 (412), Lưu Dụ tây tiến trấn áp Lưu Nghị, Linh Thạch theo ông ta đến Giang Lăng.[1][2]